Poco se sabe sobre la vida temprana de Joseph Arnold Gross. En 1739 fue nombrado Kurfürstlicher Hof-trompeter (Trompetista de la Corte Electoral) en Munich. Como otro trompetista famoso, Schachtner, el amigo de la familia de Mozart, Gross era también un violinista excelente.

Edición discográfica con una obra de Joseph Arnold Gross

En 1746 se le concedió un aumento en la paga bajo la condición de que sirviera como Konzertmeister en actuaciones del ballet. Un año después fue nombrado 'Spielgraf', con el trabajo de coordinar las actividades de los músicos itinerantes en Bavaria, su área de jurisdicción. Se exigió a tales músicos que solicitaran autorización para tocar en bodas, ferias, y otras festividades, y las cuotas para estas licencias eran una fuente bienvenida de ingreso extra para esos trompetistas de la corte, incluyendo a Gross, que ocupó el cargo de Spielgraf hasta que se abolió en 1775.

Entre las obras que se dice que compuso Gross hay doscientos Aufzüge (fanfarrias procesionales) y el Concierto para Trompeta en Re Mayor, que sobrevive hoy en dos partituras originales de partes manuscritas localizadas en bibliotecas en Regensburg y en Washington, D.C. Del estilo preclásico de este concierto, así como de otros de Riepel y F.X. Richter probablemente escritos por Gross, todos utilizando el registro más alto de la trompeta, puede deducirse que Gross debe haber sido un trompetista excepcionalmente  dotado. Este concierto posee un estilo brillante y entretenido, pero no superficial, que realmente lo pone aparte de otras obras contemporáneas para trompeta.

Era de naturaleza más retraída que Haydn o Mozart, pero no obstante fue muy respetado por sus contemporáneos. Hacia el fin de su vida incluso se hizo miembro de la Academia Sueca de Música.